home *** CD-ROM | disk | FTP | other *** search
/ Internet Info 1994 March / Internet Info CD-ROM (Walnut Creek) (March 1994).iso / answers / comp / ai-faq / genetic / part6 < prev    next >
Text File  |  1994-03-18  |  58KB  |  1,299 lines

  1. Newsgroups: comp.ai.genetic,comp.answers,news.answers
  2. Path: bloom-beacon.mit.edu!hookup!news.moneng.mei.com!howland.reston.ans.net!EU.net!uknet!cf-cm!cf.cm.ac.uk!David.Beasley
  3. From: David.Beasley@cf.cm.ac.uk (David Beasley)
  4. Subject: FAQ: comp.ai.genetic part 6/6 (A Guide to Frequently Asked Questions)
  5. Message-ID: <part6_764003894@cm.cf.ac.uk>
  6. Followup-To: comp.ai.genetic
  7. Summary: This is part 6 of a <trilogy> entitled "The Hitch-Hiker's Guide to 
  8.          Evolutionary Computation". A periodically published list of 
  9.          Frequently Asked Questions (and their answers) about Evolutionary 
  10.          Algorithms, Life and Everything. It should be read by anyone who 
  11.          whishes to post to the comp.ai.genetic newsgroup, preferably *before* 
  12.          posting.
  13. Originator: David.Beasley@cf.cm.ac.uk (David Beasley)
  14. Sender: David.Beasley@cf.cm.ac.uk (David Beasley)
  15. Organization: University of Wales College of Cardiff, Cardiff, WALES, UK.
  16. References: <part5_764003894@cm.cf.ac.uk>
  17. Date: Fri, 18 Mar 94 15:21:45 GMT
  18. Approved: news-answers-request@MIT.Edu
  19. Expires: 30 Jun 1994 15:18:14 GMT
  20. Lines: 1276
  21. Xref: bloom-beacon.mit.edu comp.ai.genetic:2509 comp.answers:4209 news.answers:16515
  22.  
  23. Archive-name:   ai-faq/genetic/part6
  24. Last-Modified:  3/20/94
  25. Issue:          2.1
  26.  
  27. TABLE OF CONTENTS OF PART 6
  28.      Q21: What are Gray codes, and why are they used?
  29.  
  30.      Q22: What test data is available?
  31.  
  32.      Q42: What is Life all about?
  33.      Q42b: Is there a FAQ to this group?
  34.  
  35.      Q98: Are there any patents on EAs?
  36.  
  37.      Q99: A Glossary on EAs?
  38.  
  39. ----------------------------------------------------------------------
  40.  
  41. Subject: Q21: What are Gray codes, and why are they used?
  42.  
  43.      The correct spelling is "Gray"---not  "gray",  "Grey",  or  "grey"---
  44.      since Gray codes are named after the Frank Gray  who  patented  their
  45.      use for shaft encoders in 1953  [1].   Gray  codes  actually  have  a
  46.      longer history, and the inquisitive reader may want to  look  up  the
  47.      August, 1972,  issue  of  Scientific  American,  which  contains  two
  48.      articles of interest: one on the origin  of  binary  codes  [2],  and
  49.      another by Martin  Gardner  on  some  entertaining  aspects  of  Gray
  50.      codes [3].  Other references containing descriptions  of  Gray  codes
  51.      and more modern, non-GA, applications include the second  edition  of
  52.      Numerical  Recipes  [4],  Horowitz  and  Hill  [5],  Kozen  [6],  and
  53.      Reingold [7].
  54.  
  55.      A Gray code represents  each  number  in  the  sequence  of  integers
  56.      {0...2^N-1} as a binary string of length N  in  an  order  such  that
  57.      adjacent integers have Gray code representations that differ in  only
  58.      one bit position.  Marching through the  integer  sequence  therefore
  59.      requires flipping just one bit at a time.  Some  call  this  defining
  60.      property of Gray codes the "adjacency property" [8].
  61.  
  62.      Example (N=3):  The binary coding of {0...7} is {000, 001, 010,  011,
  63.      100, 101, 110, 111}, while one Gray coding is {000,  001,  011,  010,
  64.      110, 111, 101, 100}.  In essence, a Gray code takes a binary sequence
  65.      and shuffles  it  to  form  some  new  sequence  with  the  adjacency
  66.      property.  There exist,  therefore,  multiple  Gray  codings  or  any
  67.      given N.  The example shown here belongs to a  class  of  Gray  codes
  68.      that goes by the fancy name "binary-reflected Gray codes".  These are
  69.      the most  commonly  seen  Gray  codes,  and  one  simple  scheme  for
  70.      generationg such a Gray code sequence says, "start with all bits zero
  71.      and successively flip the right-most bit that produces a new string."
  72.  
  73.      Hollstien [9] investigated the use of GAs for optimizing functions of
  74.      two variables and claimed that  a  Gray  code  representation  worked
  75.      slightly better than the binary representation.  He attrributed  this
  76.      difference to the adjacency property of Gray codes.   Notice  in  the
  77.      above example that the step from three to four requires the  flipping
  78.      of all the bits in the binary representation.  In  general,  adjacent
  79.      integers in the binary representaion often lie many bit flips  apart.
  80.      This  fact makes it less likely that a MUTATION operator  can  effect
  81.      small changes for a binary-coded INDIVIDUAL.
  82.  
  83.      A Gray code representation seems to  improve  a  MUTATION  operator's
  84.      chances of making incremental improvements, and a  close  examination
  85.      suggests why.  In  a  binary-coded  string  of  length  N,  a  single
  86.      mutation in the most significant  bit  (MSB)  alters  the  number  by
  87.      2^(N-1).  In a Gray-coded string, fewer mutations lead  to  a  change
  88.      this large.  The user of Gray codes does, however, pay  a  price  for
  89.      this feature: those "fewer mutations" lead to  much  larger  changes.
  90.      In the Gray code illustrated above, for example, a single mutation of
  91.      the left-most bit changes a zero to a seven and vice-versa, while the
  92.      largest change a single mutation can make to a corresponding  binary-
  93.      coded INDIVIDUAL is always four.  One might still view this aspect of
  94.      Gray codes with some favor:  most  mutations  will  make  only  small
  95.      changes, while the occasional  mutation  that  effects  a  truly  big
  96.      change may initiate EXPLORATION of an  entirely  new  region  in  the
  97.      space of CHROMOSOMEs.
  98.  
  99.      The algorithm for converting between the binary-reflected  Gray  code
  100.      described above  and  the  standard  binary  code  turns  out  to  be
  101.      surprisingly simple to state.  First label the bits of a binary-coded
  102.      string B[i], where larger i's represent more  significant  bits,  and
  103.      similarly label the corresponding Gray-coded string G[i].  We convert
  104.      one to the other as follows:  Copy the most  significant  bit.   Then
  105.      for each smaller i  do  either  G[i] = XOR(B[i+1], B[i])---to convert
  106.      binary to  Gray---or B[i] = XOR(B[i+1], G[i])---to  convert  Gray  to
  107.      binary.
  108.  
  109.      One may easily implement the above algorithm in C.   Imagine  you  do
  110.      something like
  111.  
  112.       typedef unsigned short ALLELE;
  113.  
  114.      and then use type "allele" for each bit in your CHROMOSOME, then  the
  115.      following two functions will convert between  binary  and  Gray  code
  116.      representations.  You must pass them the address  of  the  high-order
  117.      bits for each of the two strings  as  well  as  the  length  of  each
  118.      string.  (See  the  comment  statements  for  examples.)   NB:  These
  119.      functions assume a chromosome arranged  as  shown  in  the  following
  120.      illustration.
  121.  
  122.      index:    C[9]                                                    C[0]
  123.            *-----------------------------------------------------------*
  124.      Char C:   |  1  |  1  |  0  |  0  |  1  |  0  |  1  |  0  |  0  |  0  |
  125.            *-----------------------------------------------------------*
  126.            ^^^^^                                                 ^^^^^
  127.            high-order bit                                  low-order bit
  128.  
  129.  C CODE
  130.      /* Gray <==> binary conversion routines */
  131.      /* written by Dan T. Abell, 7 October 1993 */
  132.      /* please send any comments or suggestions */
  133.      /* to dabell@quark.umd.edu */
  134.  
  135.      void gray_to_binary (Cg, Cb, n)
  136.      /* convert chromosome of length n from */
  137.      /* Gray code to binary representation */
  138.      allele    *Cg,*Cb;
  139.      int  n;
  140.      {
  141.       int j;
  142.  
  143.       *Cb = *Cg;               /* copy the high-order bit */
  144.       for (j = 0; j < n; j++) {
  145.            Cb--; Cg--;         /* for the remaining bits */
  146.            *Cb= *(Cb+1)^*Cg;   /* do the appropriate XOR */
  147.       }
  148.      }
  149.  
  150.      void binary_to_gray(Cb, Cg, n)
  151.      /* convert chromosome of length n from */
  152.      /* binary to Gray code representation */
  153.      allele    *Cb, *Cg;
  154.      int  n;
  155.      {
  156.       int j;
  157.  
  158.       *Cg = *Cb;               /* copy the high-order bit */
  159.       for (j = 0; j < n; j++) {
  160.            Cg--; Cb--;         /* for the remaining bits */
  161.            *Cg= *(Cb+1)^*Cb;   /* do the appropriate XOR */
  162.       }
  163.      }
  164.  
  165.      References
  166.  
  167.      [1]  F.  Gray,  "Pulse  Code  Communication", U. S. Patent 2 632 058,
  168.      March 17, 1953.
  169.  
  170.      [2] F. G. Heath, "Origins of the Binary  Code",  Scientific  American
  171.      v.227,n.2 (August, 1972) p.76.
  172.  
  173.      [3]   Martin   Gardner,  "Mathematical  Games",  Scientific  American
  174.      v.227,n.2 (August, 1972) p.106.
  175.  
  176.      [4] William H. Press, et al., Numerical Recipes in C, Second  Edition
  177.      (Cambridge University Press, 1992).
  178.  
  179.      [5]  Paul  Horowitz and Winfield Hill, The Art of Electronics, Second
  180.      Edition (Cambridge University Press, 1989).
  181.  
  182.      [6] Dexter Kozen, The Design and Analysis  of  Algorithms  (Springer-
  183.      Verlag, New York, NY, 1992).
  184.  
  185.      [7]  Edward  M.  Reingold, et al., Combinatorial Algorithms (Prentice
  186.      Hall, Englewood Cliffs, NJ, 1977).
  187.  
  188.      [8] David E. Goldberg, GENETIC ALGORITHMs  in  Search,  OPTIMIZATION,
  189.      and Machine Learning (Addison-Wesley, Reading, MA, 1989).
  190.  
  191.      [9]  R.  B.  Hollstien,  Artificial  Genetic  Adaptation  in Computer
  192.      Control Systems (PhD thesis, University of Michigan, 1971).
  193.  
  194. ------------------------------
  195.  
  196. Subject: Q22: What test data is available?
  197.  
  198.  TSP DATA
  199.      There is a TSP library (TSPLIB) available which has many  solved  and
  200.      semi-solved TSPs and different variants. The library is maintained by
  201.      Gerhard Reinelt <reinelt@ares.iwr.Uni-Heidelberg.de>. It is available
  202.      from various FTP sites, including: softlib.cs.rice.edu:/pub/
  203.  
  204.  OTHER DATA
  205.      Information  about  test problems for any of the problem areas listed
  206.      below can be obtained by emailing o.rlibrary@ic.ac.uk with  the  body
  207.      of the email message being just the word info
  208.  
  209.      Problem  areas: Assignment problem, Crew scheduling, Data envelopment
  210.      analysis, Generalised assignment problem, Integer programming, Linear
  211.      programming,  Location problems, Multiple knapsack problem, Quadratic
  212.      assignment problem, Resource constrained  shortest  path,  Scheduling
  213.      (flow  shop,  job  shop,  open shop), Set covering, Set partitioning,
  214.      Steiner  problems,  TRAVELLING  SALESMAN   PROBLEM,   Two-dimensional
  215.      cutting problems, Vehicle routing problems
  216.  
  217. ------------------------------
  218. Subject: Q42: What is Life all about?
  219.  
  220.      42
  221.  
  222.      References
  223.  
  224.      Adams, D. (1979) "The Hitch Hiker's Guide to the Galaxy", London: Pan
  225.      Books.
  226.  
  227.      Adams, D. (1980) "The Restaurant at the End of the Universe", London:
  228.      Pan Books.
  229.  
  230.      Adams,  D.  (1982)  "Life,  the Universe and Everything", London: Pan
  231.      Books.
  232.  
  233.      Adams, D. (1984) "So long, and thanks for all the Fish", London:  Pan
  234.      Books.
  235.  
  236.      Adams, D. (1992) "Mostly Harmless", London: Heinemann.
  237.  
  238.  
  239. ------------------------------
  240.  
  241. Subject: Q42b: Is there a FAQ to this group?
  242.  
  243.      Yes.
  244.  
  245.  
  246. ------------------------------
  247.  
  248. Subject: Q98: Are there any patents on EAs?
  249.  
  250.      Process  patents  have  been  issued  both  for  the  Bucket  Brigade
  251.      Algorithm (BBA) in CLASSIFIER SYSTEMs: U.S.  patent  #[..]  (to  John
  252.      Holland) and for GP: U.S. patent #4,935,877 (to John Koza).
  253.  
  254.      This  FAQ  does  not attempt to provide legal advice. However, use of
  255.      the Lisp code in the book [KOZA92] is freely  licensed  for  academic
  256.      use.  Although  those  wishing  to make commercial use of any process
  257.      should obviously consult any patent holders in question, it is pretty
  258.      clear  that  it's  not  in  anyone's  best  interests to stifle GA/GP
  259.      research and/or development. Commercial licenses much like those used
  260.      for  CAD  software  can  presumably  be obtained for the use of these
  261.      processes where necessary.
  262.  
  263.      Jarmo Alander's massive bibliography of GAs (see  Q10.8)  includes  a
  264.      (probably)  complete  list  of  all currently know patents.  There is
  265.      also a periodic posting on comp.ai.neural-nets by  Gregory  Aharonian
  266.      <srctran@world.std.com>  about  patents on Artificial Neural Networks
  267.      (ANNs).
  268.  
  269.  
  270. ------------------------------
  271.  
  272. Subject: Q99: A Glossary on EAs?
  273.  
  274.      1/5 SUCCESS RULE:
  275.       Derived by I. Rechenberg,  the  suggestion  that  when  Gaussian
  276.       MUTATIONs  are  applied  to real-valued vectors in searching for
  277.       the minimum of a function, a rule-of-thumb to attain good  rates
  278.       of  error  convergence  is  to  adapt  the STANDARD DEVIATION of
  279.       mutations to generate one superior solution out  of  every  five
  280.       attempts.
  281.  
  282.  A
  283.      ADAPTIVE BEHAVIOUR:
  284.       "...underlying  mechanisms  that allow animals, and potentially,
  285.       ROBOTs to adapt and survive in uncertain environments" --- Meyer
  286.       & Wilson (1991), [SAB90]
  287.  
  288.      AI:  See ARTIFICIAL INTELLIGENCE.
  289.  
  290.      ALIFE:
  291.       See ARTIFICIAL LIFE.
  292.  
  293.      ALLELE:
  294.       (biol) Each GENE is able to occupy only a particular region of a
  295.       CHROMOSOME, it's locus. At any given locus there may  exist,  in
  296.       the POPULATION, alternative forms of the gene. These alternative
  297.       are called alleles of one another.
  298.  
  299.       (EC) The value of a GENE.  Hence, for a  binary  representation,
  300.       each gene may have an ALLELE of 0 or 1.
  301.  
  302.      ARTIFICIAL INTELLIGENCE:
  303.       "...the  study  of  how to make computers do things at which, at
  304.       the moment, people are better" --- Elaine  Rich (1988)
  305.  
  306.      ARTIFICIAL LIFE:
  307.       Term coined by Christopher G.  Langton  for  his  1987  [ALIFEI]
  308.       conference.  In  the preface of the proceedings he defines ALIFE
  309.       as "...the study of simple computer generated hypothetical  life
  310.       forms, i.e.  life-as-it-could-be."
  311.  
  312.  B
  313.      BUILDING BLOCK:
  314.       (EC)  A  small,  tightly clustered group of GENEs which have co-
  315.       evolved  in  such  a  way  that  their  introduction  into   any
  316.       CHROMOSOME  will  be  likely  to  give increased FITNESS to that
  317.       chromosome.
  318.  
  319.       The "building block hypothesis" [GOLD89] states  that  GAs  find
  320.       solutions  by first finding as many BUILDING BLOCKs as possible,
  321.       and then combining them together to give the highest FITNESS.
  322.  
  323.  C
  324.      CENTRAL DOGMA:
  325.       (biol) The dogma that nucleic acids act  as  templates  for  the
  326.       synthesis  of  proteins,  but never the reverse. More generally,
  327.       the dogma that GENEs exert an influence over the form of a body,
  328.       but  the  form  of  a body is never translated back into genetic
  329.       code: acquired characteristics are not inherited. cf LAMARCKISM.
  330.  
  331.       (GA)  The  dogma  that  the  behaviour  of the algorithm must be
  332.       analysed using the SCHEMA THEOREM.
  333.  
  334.       (life in general) The dogma that this all is useful in a way.
  335.  
  336.       "You guys have a dogma. A certain irrational  set  of  believes.
  337.       Well,  here's  my  irrational  set  of  beliefs.  Something that
  338.       works."
  339.  
  340.       --- Rodney A. Brooks, [LEVY92]
  341.  
  342.      CFS: See CLASSIFIER SYSTEM.
  343.  
  344.      CHROMOSOME:
  345.       (biol) One of the chains of DNA  found  in  cells.   CHROMOSOMEs
  346.       contain  GENEs,  each  encoded as a subsection of the DNA chain.
  347.       Chromosomes are usually present in all  cells  in  an  organism,
  348.       even  though  only  a minority of them will be active in any one
  349.       cell.
  350.       (EC) A datastructure which holds a `string' of task  parameters,
  351.       or  GENEs.   This  may  be stored, for example, as a binary bit-
  352.       string, or an array of integers.
  353.  
  354.      CLASSIFIER SYSTEM:
  355.       A system which takes a (set of) inputs, and produces a (set  of)
  356.       outputs  which  indicate  some classification of the inputs.  An
  357.       example might take inputs from sensors in a chemical plant,  and
  358.       classify  them  in  terms  of: 'running ok', 'needs more water',
  359.       'needs less water', 'emergency'. See Q1.4 for more  information.
  360.  
  361.      COMBINATORIAL OPTIMIZATION:
  362.       Some tasks involve combining a set of entities in a specific way
  363.       (e.g.  the task of building a house).  A  general  combinatorial
  364.       task  involves deciding (a) the specifications of those entities
  365.       (e.g. what size, shape, material to make the bricks  from),  and
  366.       (b)  the  way in which those entities are brought together (e.g.
  367.       the number of bricks, and  their  relative  positions).  If  the
  368.       resulting  combination  of  entities  can in some way be given a
  369.       FITNESS score, then COMBINATORIAL OPTIMIZATION is  the  task  of
  370.       designing  a  set  of  entities,  and  deciding how they must be
  371.       configured, so  as  to  give  maximum  fitness.  cf  ORDER-BASED
  372.       PROBLEM.
  373.  
  374.      COMMA STRATEGY:
  375.       Notation  originally  proposed  in  EVOLUTION STRATEGIEs, when a
  376.       POPULATION of "mu" PARENTs generates "lambda" OFFSPRING and  the
  377.       mu  parents are discarded, leving only the lambda INDIVIDUALs to
  378.       compete directly.  Such a process is written  as  a  (mu,lambda)
  379.       search.   The  process  of  only  competing  offspring then is a
  380.       "comma strategy." cf.  PLUS STRATEGY.
  381.  
  382.      CONVERGED:
  383.       A GENE is said to have CONVERGED when 95% of the CHROMOSOMEs  in
  384.       the  POPULATION  all  contain the same ALLELE for that gene.  In
  385.       some circumstances, a population can be said to  have  converged
  386.       when  all  genes  have  converged. (However, this is not true of
  387.       populations containing multiple SPECIES, for example.)
  388.  
  389.       Most people use "convergence" fairly loosely, to  mean  "the  GA
  390.       has  stopped  finding new, better solutions".  Of course, if you
  391.       wait long  enough,  the  GA  will  *eventually*  find  a  better
  392.       solution  (unless  you  have  already found the global optimum).
  393.       What people really mean is "I'm not willing to wait for  the  GA
  394.       to  find  a  new,  better  solution, because I've already waited
  395.       longer than I wanted to and it hasn't improved in ages."
  396.  
  397.      CONVERGENCE VELOCITY:
  398.       The rate of error reduction.
  399.  
  400.      COOPERATION:
  401.       The behavior of two or more INDIVIDUALs acting to  increase  the
  402.       gains of all participating individuals.
  403.  
  404.      CROSSOVER:
  405.       (EC)  A  REPRODUCTION  OPERATOR  which forms a new CHROMOSOME by
  406.       combining parts  of  each  of  two  `parent'  chromosomes.   The
  407.       simplest  form  is single-point CROSSOVER, in which an arbitrary
  408.       point in the chromosome is  picked.  All  the  information  from
  409.       PARENT  A  is  copied  from the start up to the crossover point,
  410.       then all the information  from  parent  B  is  copied  from  the
  411.       crossover point to the end of the chromosome. The new chromosome
  412.       thus gets the head of one parent's chromosome combined with  the
  413.       tail  of  the  other.   Variations exist which use more than one
  414.       crossover point, or combine information from  parents  in  other
  415.       ways.
  416.       (biol)  A   complicated   process   whereby  CHROMOSOMEs,  while
  417.       engaged in the  production  of  GAMETEs,  exchange  portions  of
  418.       genetic material.  The result is that an almost infinite variety
  419.       of  gametes  may  be  produced.   Subsequently,  during   sexual
  420.       REPRODUCTION,  male and female gametes (i.e. sperm and ova) fuse
  421.       to  produce  a  new  cell  with  a  complete  set   of   DIPLOID
  422.       CHROMOSOMEs.
  423.       In  [HOLLAND92]  the sentence "When sperm and ova fuse, matching
  424.       CHROMOSOMEs line up with one another and then cross over partway
  425.       along  their  length,  thus  swapping  genetic material" is thus
  426.       wrong, since these two activities occur in  different  parts  of
  427.       the  life  cycle.  [eds note:  If sexual REPRODUCTION (the  Real
  428.       Thing) worked like in GAs, then Holland would be right,  but  as
  429.       we  all  know,   it's   not   the  case.   We just encountered a
  430.       Freudian  slip  of  a  Grandmaster.  BTW:    even   the   German
  431.       translation  of   this  article  has  this  "bug", although it's
  432.       well-hidden by the translator.]
  433.  
  434.      CS:  See CLASSIFIER SYSTEM.
  435.  
  436.  D
  437.      DARWINISM:
  438.       (biol) Theory of EVOLUTION, proposed by Darwin,  that  evolution
  439.       comes    about    through    random   variation   of   heritable
  440.       characteristics, coupled with natural SELECTION (survival of the
  441.       fittest).  A  physical mechanism for this, in terms of GENEs and
  442.       CHROMOSOMEs, was discovered many years later. cf LAMARCKISM.
  443.  
  444.       (EC) Theory which inspired all branches of EC.
  445.  
  446.      DECEPTION:
  447.       The condition where the  combination  of  good  BUILDING  BLOCKs
  448.       leads   to  reduced  FITNESS,  rather  than  increased  fitness.
  449.       Proposed by [GOLD89] as a reason for the failure of GAs on  many
  450.       tasks.
  451.  
  452.      DIPLOID CHROMOSOME:
  453.       (biol)  A  CHROMOSOME  which  consists  of  a pair of homologous
  454.       chromosomes, i.e. two chromosomes containing the same  GENEs  in
  455.       the  same  sequence.  In sexually reproducing SPECIES, the genes
  456.       in one of the chromosomes will  have  been  inherited  from  the
  457.       father's GAMETE (sperm), while the genes in the other chromosome
  458.       are from the mother's gamete (ovum).
  459.  
  460.      DNA: (biol) Deoxyribonucleic Acid, a double stranded macromolecule of
  461.       helical  structure  (comparable  to  a  spiral  staircase). Both
  462.       single strands are linear,  unbranched  nucleic  acid  molecules
  463.       build  up  from  alternating  deoxyribose  (sugar) and phosphate
  464.       molecules. Each deoxyribose part  is  coupled  to  a  nucleotide
  465.       base,  which  is  responsible for establishing the connection to
  466.       the other strand of the DNA.  The  4  nucleotide  bases  Adenine
  467.       (A),  Thymine (T), Cytosine (C) and Guanine (G) are the alphabet
  468.       of the genetic information. The sequences of these bases in  the
  469.       DNA  molecule determines the building plan of any organism. [eds
  470.       note: suggested reading: James  D.  Watson  (1968)  "The  Double
  471.       Helix", London: Weidenfeld and Nicholson]
  472.  
  473.       (literature)  Douglas  Noel  Adams, contemporary Science Fiction
  474.       comedy writer. Published "The Hitch-Hiker's Guide to the Galaxy"
  475.       when  he  was  25 years old, which made him one of the currently
  476.       most  successful  British  authors.   [eds  note:  interestingly
  477.       Watson  was  also 25 years old, when he discovered the DNA; both
  478.       events are probably not interconnected; you might also  want  to
  479.       look  at:  Neil  Gaiman's  (1987)  "DON'T  PANIC -- The Official
  480.       Hitch-Hiker's Guide to the Galaxy companion", and of course  get
  481.       your  hands  on  the  wholly  remarkable FAQ in alt.fan.douglas-
  482.       adams]
  483.  
  484.      DNS: (biol) Desoxyribonukleinsaeure, German for DNA.
  485.  
  486.       (comp) The Domain Name System, a distributed database system for
  487.       translating    computer    names   (e.g.   lumpi.informatik.uni-
  488.       dortmund.de)   into   numeric   Internet,   i.e.    IP-addresses
  489.       (129.217.36.140)  and  vice-versa.   DNS allows you to hook into
  490.       the net without remembering long lists  of  numeric  references,
  491.       unless  your  system  administrator  has incorrectly set-up your
  492.       site's system.
  493.  
  494.  E
  495.      EC:  See EVOLUTIONARY COMPUTATION.
  496.  
  497.      ENCORE:
  498.       The EvolutioNary Computation REpository Network.  An network  of
  499.       anonymous  FTP  sites  holding  all manner of interesting things
  500.       related to EC.  The default "EClair" node is  at  the  Santa  Fe
  501.       Institute:   alife.santafe.edu:/pub/USER-AREA/EC/  mirror  sites
  502.       include    The    Chinese    University    of     Hong     Kong:
  503.       ftp.cs.cuhk.hk:/pub/EC/  Other nodes are planned.  See Q15.3 for
  504.       more information.
  505.  
  506.      ENVIRONMENT:
  507.       (biol) That which  surrounds  an  organism.  Can  be  'physical'
  508.       (abiotic),  or  biotic.   In both, the organism occupies a NICHE
  509.       which influences its FITNESS within the  total  ENVIRONMENT.   A
  510.       biotic  environment  may  present   frequency-dependent  fitness
  511.       functions within a  POPULATION,  that  is,  the  fitness  of  an
  512.       organism's  behaviour  may  depend upon how many others are also
  513.       doing it.  Over several  GENERATIONs,  biotic  environments  may
  514.       foster   co-evolution,  in  which  fitness  is  determined  with
  515.       SELECTION partly by other SPECIES.
  516.  
  517.      EP:  See EVOLUTIONARY PROGRAMMING.
  518.  
  519.      EPISTASIS:
  520.       (biol) A "masking" or "switching" effect among GENEs.  A biology
  521.       textbook says: "A gene is said to be epistatic when its presence
  522.       suppresses the effect of a gene  at  another  locus.   Epistatic
  523.       genes  are  sometimes  called  inhibiting genes because of their
  524.       effect on other genes which are described as hypostatic."
  525.  
  526.       (EC) When EC  researchers  use  the  term  EPISTASIS,  they  are
  527.       generally  referring  to  any  kind  of strong interaction among
  528.       GENEs, not just masking effects. A possible definition is:
  529.  
  530.       EPISTASIS is  the  interaction  between  different  GENEs  in  a
  531.       CHROMOSOME.   It  is  the  extent  to  which the contribution to
  532.       FITNESS of one gene depends on the values of other genes.
  533.  
  534.       Problems with little  or  no  EPISTASIS  are  trivial  to  solve
  535.       (hillclimbing  is sufficient). But highly epistatic problems are
  536.       difficult to solve, even for GAs.   High  epistasis  means  that
  537.       BUILDING BLOCKs cannot form, and there will be DECEPTION.
  538.  
  539.      ES:  See EVOLUTION STRATEGY.
  540.  
  541.      ESS: See EVOLUTIONARILY STABLE STRATEGY.
  542.  
  543.      EVOLUTION:
  544.       That  process  of  change  which is assured given a reproductive
  545.       POPULATION in which there are (1) varieties of INDIVIDUALs, with
  546.       some  varieties being (2) heritable, of which some varieties (3)
  547.       differ in FITNESS (reproductive success).
  548.       "Don't assume that all people who accept EVOLUTION are atheists"
  549.  
  550.       --- Talk.origin FAQ
  551.  
  552.      EVOLUTION STRATEGIE:
  553.  
  554.      EVOLUTION STRATEGY:
  555.       A type of evolutionary algorithm developed in the early 1960s in
  556.       Germany.  It employs real-coded parameters, and in its  original
  557.       form,  it  relied  on  MUTATION  as  the  search operator, and a
  558.       POPULATION size of one. Since then it has evolved to share  many
  559.       features   with   GENETIC   ALGORITHMs.    See   Q1.3  for  more
  560.       information.
  561.  
  562.      EVOLUTIONARILY STABLE STRATEGY:
  563.       A strategy that does well in a POPULATION dominated by the  same
  564.       strategy.  (cf Maynard Smith, 1974)
  565.  
  566.      EVOLUTIONARY COMPUTATION:
  567.       Encompasses  methods of simulating EVOLUTION on a computer.  The
  568.       term is relatively new and represents an effort  bring  together
  569.       researchers  who have been working in closely related fields but
  570.       following  different  paradigms.   The  field  is  now  seen  as
  571.       including  research in GENETIC ALGORITHMs, EVOLUTION STRATEGIEs,
  572.       EVOLUTIONARY PROGRAMMING, ARTIFICIAL LIFE, and so forth.  For  a
  573.       good overview see the editorial introduction to Vol. 1, No. 1 of
  574.       "Evolutionary Computation" (MIT Press, 1993).  That, along  with
  575.       the  papers  in  the  issue,  should  give  you  a  good idea of
  576.       representative research.
  577.  
  578.      EVOLUTIONARY PROGRAMMING:
  579.       An evolutionay algorithm developed in the mid  1960s.  It  is  a
  580.       stochastic  OPTIMIZATION  strategy,  which is similar to GENETIC
  581.       ALGORITHMs, but dispenses with  both  "genomic"  representations
  582.       and  with  CROSSOVER  as  a REPRODUCTION OPERATOR.  See Q1.2 for
  583.       more information.
  584.  
  585.  
  586.      EVOLUTIONARY SYSTEMS:
  587.       A process or system which employs the evolutionary  dynamics  of
  588.       REPRODUCTION, MUTATION, competition and SELECTION.  The specific
  589.       forms of these  processes  are  irrelevant  to  a  system  being
  590.       described as "evolutionary."
  591.  
  592.  
  593.      EXPECTANCY:
  594.       Or  expected  value.   Pertaining  to a random variable X, for a
  595.       continuous random variable, the expected value is:
  596.       E(X) = INTEGRAL(-inf, inf) [X f(X) dX].
  597.       The discrete expectation takes a similar form using a  summation
  598.       instead of an integral.
  599.  
  600.      EXPLOITATION:
  601.       When  traversing  a SEARCH SPACE, EXPLOITATION is the process of
  602.       using information gathered from previously visited points in the
  603.       search  space  to  determine which places might be profitable to
  604.       visit next.  An  example  is  hillclimbing,  which  investigates
  605.       adjacent  points in the search space, and moves in the direction
  606.       giving  the  greatest   increase   in   FITNESS.    Exploitation
  607.       techniques are good at finding local maxima.
  608.  
  609.      EXPLORATION:
  610.       The  process of visiting entirely new regions of a SEARCH SPACE,
  611.       to  see  if  anything  promising  may  be  found  there.  Unlike
  612.       EXPLOITATION,  EXPLORATION  involves  leaps  into  the  unknown.
  613.       Problems which have many local  maxima  can  sometimes  only  be
  614.       solved by this sort of random search.
  615.  
  616.  F
  617.      FAQ: Frequently Asked Questions. See definition given near the top of
  618.       part 1.
  619.  
  620.      FITNESS:
  621.       (biol) Loosely: adaptedness.  Often measured as,  and  sometimes
  622.       equated to, relative reproductive success.  Also proportional to
  623.       expected time to extinction.  "The fit are those who  fit  their
  624.       existing  ENVIRONMENTs  and  whose  descendants  will fit future
  625.       environments."  (J.  Thoday,  "A  Century  of  Darwin",   1959).
  626.       Accidents of history are relevant.
  627.  
  628.       (EC)  A  value assigned to an INDIVIDUAL which reflects how well
  629.       the INDIVIDUAL solves the task in hand. A "fitness function"  is
  630.       used to map a CHROMOSOME to a FITNESS value.
  631.  
  632.      FUNCTION OPTIMIZATION:
  633.       For  a  function  which  takes  a set of N input parameters, and
  634.       returns a single output value, F, FUNCTION OPTIMIZATION  is  the
  635.       task  of  finding  the  set(s)  of  parameters which produce the
  636.       maximum (or minimum) value of F. Function OPTIMIZATION is a type
  637.       of VALUE-BASED PROBLEM.
  638.  
  639.      FTP: File  Transfer  Protocol. A system which allows the retrieval of
  640.       files stored on a remote computer. Basic FTP requires a password
  641.       before  access  can  be gained to the remote computer. Anonymous
  642.       FTP  does  not  require  a  special   password:   after   giving
  643.       "anonymous"  as  the user name, any password will do (typically,
  644.       you give your email address at this point). Files  available  by
  645.       FTP are specified as <ftp-site-name>:<the-complete-filename> See
  646.       Q15.5.
  647.  
  648.      FUNCTION SET:
  649.       (GP) The set of operators used in GP. These functions label  the
  650.       internal (non-leaf) points of the parse trees that represent the
  651.       programs in the POPULATION.  An example FUNCTION  SET  might  be
  652.       {+, -, *}.
  653.  
  654.  G
  655.      GA:  See GENETIC ALGORITHM.
  656.  
  657.      GAME THEORY:
  658.       A  mathematical theory originally developed for human games, and
  659.       generalized to human economics and  military  strategy,  and  to
  660.       EVOLUTION in the theory of EVOLUTIONARILY STABLE STRATEGY.  GAME
  661.       THEORY comes into it's own wherever the optimum  policy  is  not
  662.       fixed,  but  depends upon the policy which is statistically most
  663.       likely to be adopted by opponents.
  664.  
  665.      GAMETE:
  666.       (biol) Cells which carry genetic information from their  PARENTs
  667.       for  the  purposes  of  sexual  REPRODUCTION.   In animals, male
  668.       GAMETEs are called sperm, female gametes are called ova. Gametes
  669.       have HAPLOID CHROMOSOMEs.
  670.  
  671.      GAUSSIAN DISTRIBUTION:
  672.       See NORMALLY DISTRIBUTED.
  673.  
  674.      GENE:
  675.       (EC)  A  subsection  of a CHROMOSOME which (usually) encodes the
  676.       value of a single parameter.
  677.  
  678.       (biol) A unit of heredity. May be defined in different ways  for
  679.       different  purposes.  Molecular biologists sometimes use it in a
  680.       more  abstract  sense.  Following  Williams  (cf   Q10.7)   `any
  681.       hereditary  information  for  which  there  is  a  favorable  or
  682.       unfavorable SELECTION bias equal to several or  many  times  its
  683.       rate of endogenous change.' cf CHROMOSOME.
  684.  
  685.      GENE-POOL:
  686.       The  whole  set of GENEs in a breeding POPULATION.  The metaphor
  687.       on which the term is based  de-emphasizes  the  undeniable  fact
  688.       that  genes actually go about in discrete bodies, and emphasizes
  689.       the idea of genes flowing about the world like a liquid.
  690.  
  691.       "Everybody out of the GENE-POOL, now!"
  692.  
  693.       --- Author prefers to be anonymous
  694.  
  695.      GENERATION:
  696.       (EC) An iteration of the measurement of FITNESS and the creation
  697.       of a new POPULATION by means of REPRODUCTION OPERATORs.
  698.  
  699.      GENETIC ALGORITHM:
  700.       A  type  of  EVOLUTIONARY  COMPUTATION  devised  by John Holland
  701.       [HOLLAND92].   A  model  of  machine  learning   that   uses   a
  702.       genetic/evolutionary  metaphor.  Implementations  typically  use
  703.       fixed-length  character  strings  to  represent  their   genetic
  704.       information,  together  with  a  POPULATION of INDIVIDUALs which
  705.       undergo CROSSOVER and MUTATION  in  order  to  find  interesting
  706.       regions of the SEARCH SPACE.  See Q1.1 for more information.
  707.  
  708.      GENETIC DRIFT:
  709.       Changes  in  gene/allele  frequencies  in a POPULATION over many
  710.       GENERATIONs,  resulting  from  chance  rather  than   SELECTION.
  711.       Occurs  most  rapidly  in  small  populations.  Can lead to some
  712.       ALLELEs  becoming   `extinct',   thus   reducing   the   genetic
  713.       variability in the population.
  714.  
  715.      GENETIC PROGRAMMING:
  716.       GENETIC  ALGORITHMs applied to programs.  GENETIC PROGRAMMING is
  717.       more expressive than fixed-length character string  GAs,  though
  718.       GAs  are  likely  to  be  more  efficient  for  some  classes of
  719.       problems.  See Q1.5 for more information.
  720.  
  721.      GENETIC OPERATOR:
  722.       A search operator acting on a coding structure that is analogous
  723.       to a GENOTYPE of an organism (e.g. a CHROMOSOME).
  724.  
  725.      GENOTYPE:
  726.       The   genetic   composition  of  an  organism:  the  information
  727.       contained in the GENOME.
  728.  
  729.      GENOME:
  730.       The entire collection of GENEs (and hence CHROMOSOMEs) possessed
  731.       by an organism.
  732.  
  733.      GLOBAL OPTIMIZATION:
  734.       The  process  by  which  a  search  is made for the extremum (or
  735.       extrema) of a functional  which,  in  EVOLUTIONARY  COMPUTATION,
  736.       corresponds  to  the  FITNESS  or error function that is used to
  737.       assess the PERFORMANCE of any INDIVIDUAL.
  738.  
  739.      GP:  See GENETIC PROGRAMMING.
  740.  
  741.  H
  742.      HAPLOID CHROMOSOME:
  743.       (biol) A CHROMOSOME consisting of a single  sequence  of  GENEs.
  744.       These are found in GAMETEs.  cf DIPLOID CHROMOSOME.
  745.  
  746.       In EC, it is usual for CHROMOSOMEs to be haploid.
  747.  
  748.      HARD SELECTION:
  749.       SELECTION  acts  on  competing  INDIVIDUALs.  When only the best
  750.       available  individuals  are  retained  for   generating   future
  751.       progeny,  this  is  termed "hard selection."  In contrast, "soft
  752.       selection"  offers  a  probabilistic  mechanism  for  maitaining
  753.       individuals  to  be PARENTs of future progeny despite possessing
  754.       relatively poorer objective values.
  755.  
  756.  I
  757.      INDIVIDUAL:
  758.       A single  member  of  a  POPULATION.   In  EC,  each  INDIVIDUAL
  759.       contains  a  CHROMOSOME  (or,  more  generally,  a GENOME) which
  760.       represents a possible solution to the task being tackled, i.e. a
  761.       single  point in the SEARCH SPACE.  Other information is usually
  762.       also stored in each individual, e.g. its FITNESS.
  763.  
  764.      INVERSION:
  765.       (EC) A REORDERING operator which  works  by  selecting  two  cut
  766.       points in a CHROMOSOME, and reversing the order of all the GENEs
  767.       between those two points.
  768.  
  769.  L
  770.      LAMARCKISM:
  771.       Theory of EVOLUTION which preceded  Darwin's.  Lamarck  believed
  772.       that  evolution  came  about through the inheritance of acquired
  773.       characteristics. That is, the skills or physical features  which
  774.       an  INDIVIDUAL  acquires during its lifetime can be passed on to
  775.       its OFFSPRING.  Although Lamarckian inheritance  does  not  take
  776.       place  in  nature, the idea has been usefully applied by some in
  777.       EC.  cf DARWINISM.
  778.  
  779.      LCS: See LEARNING CLASSIFIER SYSTEM.
  780.  
  781.      LEARNING CLASSIFIER SYSTEM:
  782.       A CLASSIFIER SYSTEM which "learns" how to classify  its  inputs.
  783.       This  often involves "showing" the system many examples of input
  784.       patterns, and their corresponding correct outputs. See Q1.4  for
  785.       more information.
  786.  
  787.  M
  788.      MIGRATION:
  789.       The  transfer  of  (the  GENEs  of)  an INDIVIDUAL from one SUB-
  790.       POPULATION to another.
  791.  
  792.      MOBOT:
  793.       MOBile ROBOT.  cf ROBOT.
  794.  
  795.      MUTATION:
  796.       (EC) a REPRODUCTION OPERATOR which forms  a  new  CHROMOSOME  by
  797.       making  (usually  small) alterations to the values of GENEs in a
  798.       copy of a single, PARENT chromosome.
  799.  
  800.  N
  801.      NICHE:
  802.       (biol) In natural ecosystems, there are many different  ways  in
  803.       which  animals  may survive (grazing, hunting, on the ground, in
  804.       trees,  etc.),  and  each  survival  strategy   is   called   an
  805.       "ecological niche."  SPECIES which occupy different NICHEs (e.g.
  806.       one eating plants, the other eating insects) may coexist side by
  807.       side  without  competition,  in a stable way. But if two species
  808.       occupying the same niche are brought into the same  area,  there
  809.       will  be  competition,  and  eventually  the  weaker  of the two
  810.       species will be  made  (locally)  extinct.  Hence  diversity  of
  811.       species  depends  on them occupying a diversity of niches (or on
  812.       geographical separation).
  813.  
  814.       (EC)  In  EC,  we  often  want  to  maintain  diversity  in  the
  815.       POPULATION.   Sometimes  a  FITNESS  function may be known to be
  816.       multimodal, and we want to locate all the peaks. We may consider
  817.       each  peak  in the fitness function as analogous to a NICHE.  By
  818.       applying  techniques  such  as  fitness  sharing   (Goldberg   &
  819.       Richardson,  [ICGA87]),  the  population  can  be prevented from
  820.       converging on a single peak, and instead stable  SUB-POPULATIONs
  821.       form  at  each  peak.  This  is  analogous  to different SPECIES
  822.       occupying different niches. See also SPECIES, SPECIATION.
  823.  
  824.      NORMALLY DISTRIBUTED:
  825.       A  random  variable  is  NORMALLY  DISTRIBUTED  if  its  density
  826.       function is described as
  827.       f(x)    =    1/sqrt(2*pi*sqr(sigma))    *    exp(-0.5*(x-mu)*(x-
  828.       mu)/sqr(sigma))
  829.       where mu is the mean of the random variable x and sigma  is  the
  830.       STANDARD DEVIATION.
  831.  
  832.  O
  833.      OBJECT VARIABLES:
  834.       Parameters  that are directly involved in assessing the relative
  835.       worth of an INDIVIDUAL.
  836.  
  837.      OFFSPRING:
  838.       An INDIVIDUAL generated by any process of REPRODUCTION.
  839.  
  840.      OPTIMIZATION:
  841.       The process of iteratively improving the solution to  a  problem
  842.       with respect to a specified objective function.
  843.  
  844.      ORDER-BASED PROBLEM:
  845.       A  problem  where  the solution must be specified in terms of an
  846.       arrangement (e.g. a linear ordering)  of  specific  items,  e.g.
  847.       TRAVELLING   SALESMAN   PROBLEM,  computer  process  scheduling.
  848.       ORDER-BASED PROBLEMs are a class of  COMBINATORIAL  OPTIMIZATION
  849.       problems  in  which  the  entities  to  be  combined are already
  850.       determined. cf VALUE-BASED PROBLEM.
  851.  
  852.      ONTOGENESIS:
  853.       Refers to a single organism, and  means  the  life  span  of  an
  854.       organism from it's birth to death.  cf PHYLOGENESIS.
  855.  
  856.  P
  857.      PANMICTIC POPULATION:
  858.       (EC,  biol)  A  mixed  POPULATION.   A  population  in which any
  859.       INDIVIDUAL may  be  mated  with  any  other  individual  with  a
  860.       probability  which  depends  only on FITNESS.  Most conventional
  861.       evolutionary algorithms have PANMICTIC POPULATIONs.
  862.  
  863.       The opposite is a POPULATION divided into groups known  as  SUB-
  864.       POPULATIONs,  where INDIVIDUALs may only mate with others in the
  865.       same sub-population. cf SPECIATION.
  866.  
  867.      PARENT:
  868.       An INDIVIDUAL which takes part in REPRODUCTION to  generate  one
  869.       or more other individuals, known as OFFSPRING, or children.
  870.  
  871.  
  872.      PERFORMANCE:
  873.       cf FITNESS.
  874.  
  875.      PHENOTYPE:
  876.       The expressed traits of an INDIVIDUAL.
  877.  
  878.      PHYLOGENESIS:
  879.       Refers  to  a  POPULATION  of  organisms.  The  life  span  of a
  880.       POPULATION of organisms from pre-historic times until today.  cf
  881.       ONTOGENESIS.
  882.  
  883.      PLUS STRATEGY:
  884.       Notation  originally  proposed  in  EVOLUTION STRATEGIEs, when a
  885.       POPULATION of "mu" PARENTs generates "lambda" OFFSPRING and  all
  886.       mu  and  lambda  INDIVIDUALs  compete  directly,  the process is
  887.       written as a (mu+lambda) search.  The process of  competing  all
  888.       parents  and  offspring  then  is  a "plus strategy." cf.  COMMA
  889.       STRATEGY.
  890.  
  891.      POPULATION:
  892.       A group of INDIVIDUALs which may interact together, for  example
  893.       by mating, producing OFFSPRING, etc. Typical POPULATION sizes in
  894.       EC range from 1 (for certain EVOLUTION STRATEGIEs)
  895.        to  many  thousands  (for  GENETIC   PROGRAMMING).    cf   SUB-
  896.       POPULATION.
  897.  
  898.  R
  899.      RECOMBINATION:
  900.       cf CROSSOVER.
  901.  
  902.      REORDERING:
  903.       (EC)  A  REORDERING  operator  is  a REPRODUCTION OPERATOR which
  904.       changes the order of GENEs in a CHROMOSOME,  with  the  hope  of
  905.       bringing related genes closer together, thereby facilitating the
  906.       production of BUILDING BLOCKs.  cf INVERSION.
  907.  
  908.      REPRODUCTION:
  909.       (biol, EC) The creation of a new  INDIVIDUAL  from  two  PARENTs
  910.       (sexual  REPRODUCTION).  Asexual reproduction is the creation of
  911.       a new individual from a single parent.
  912.  
  913.      REPRODUCTION OPERATOR:
  914.       (EC) A mechanism which  influences  the  way  in  which  genetic
  915.       information  is  passed  on  from  PARENT(s) to OFFSPRING during
  916.       REPRODUCTION.  REPRODUCTION  OPERATORs  fall  into  three  broad
  917.       categories: CROSSOVER, MUTATION and REORDERING operators.
  918.  
  919.      REQUISITE VARIETY:
  920.       In  GENETIC  ALGORITHMs,  when  the  POPULATION  fails to have a
  921.       "requisite variety" CROSSOVER will no longer be a useful  search
  922.       operator  because it will have a propensity to simply regenerate
  923.       the PARENTs.
  924.  
  925.      ROBOT:
  926.       "The Encyclopedia Galactica defines  a  ROBOT  as  a  mechanical
  927.       apparatus designed to do the work of man. The marketing division
  928.       of the Sirius Cybernetics Corporation defines a robot  as  `Your
  929.       Plastic Pal Who's Fun To Be With'."
  930.  
  931.       --- Douglas Adams (1979)
  932.  
  933.  S
  934.      SAFIER:
  935.       An   EVOLUTIONARY   COMPUTATION  FTP  Repository,  now  defunct.
  936.       Superceeded by ENCORE.
  937.  
  938.      SCHEMA:
  939.       A pattern of GENE values in  a  CHROMOSOME,  which  may  include
  940.       `dont  care'  states.  Thus  in a binary chromosome, each SCHEMA
  941.       (plural schemata) can be specified  by  a  string  of  the  same
  942.       length  as the chromosome, with each character one of {0, 1, #}.
  943.       A particular chromosome is said to `contain' a particular schema
  944.       if  it  matches the schema (e.g. chromosome 01101 matches schema
  945.       #1#0#).
  946.  
  947.       The `order' of a SCHEMA is the number of non-dont-care positions
  948.       specified,  while  the `defining length' is the distance between
  949.       the furthest two non-dont-care positions. Thus #1#0# is of order
  950.       2 and defining length 3.
  951.      SCHEMA THEOREM:
  952.       Theorem  devised by Holland [HOLLAND92] to explain the behaviour
  953.       of GAs.  In essence, it  says  that  a  GA  gives  exponentially
  954.       increasing   reproductive  trials  to  above  average  schemata.
  955.       Because each CHROMOSOME contains a great many schemata, the rate
  956.       of  SCHEMA processing in the POPULATION is very high, leading to
  957.       a phenomenon known as implicit parallelism. This gives a GA with
  958.       a  population  of  size  N  a  speedup  by  a factor of N cubed,
  959.       compared to a random search.
  960.  
  961.      SEARCH SPACE:
  962.       If the solution to a task can be represented by a set of N real-
  963.       valued  parameters, then the job of finding this solution can be
  964.       thought of as a  search  in  an  N-dimensional  space.  This  is
  965.       referred  to simply as the SEARCH SPACE.  More generally, if the
  966.       solution to a task can be  represented  using  a  representation
  967.       scheme,  R,  then  the  search  space is the set of all possible
  968.       configurations which may be represented in R.
  969.  
  970.      SEARCH OPERATORS:
  971.       Processes used to generate  new  INDIVIDUALs  to  be  evaluated.
  972.       SEARCH  OPERATORS  in  GENETIC ALGORITHMs are typically based on
  973.       CROSSOVER and point MUTATION.   Search  operators  in  EVOLUTION
  974.       STRATEGIEs  and  EVOLUTIONARY  PROGRAMMING typically follow from
  975.       the representation of a solution and often involve  Gaussian  or
  976.       lognormal perturbations when applied to real-valued vectors.
  977.  
  978.      SELECTION:
  979.       The process by which some INDIVIDUALs in a POPULATION are chosen
  980.       for REPRODUCTION, typically on the basis of favoring individuals
  981.       with higher FITNESS.
  982.  
  983.      SELF-ADAPTATION:
  984.       The  inclusion  of  a  mechanism  not  only to evolve the OBJECT
  985.       VARIABLES  of  a  solution,   but   simultaneously   to   evolve
  986.       information on how each solution will generate new OFFSPRING.
  987.  
  988.      SIMULATION:
  989.       The act of modeling a natural process.
  990.  
  991.      SOFT SELECTION:
  992.       The  mechanism which allows inferior INDIVIDUALs in a POPULATION
  993.       a non-zero probability of  surviving  into  future  GENERATIONs.
  994.       See HARD SELECTION.
  995.  
  996.      SPECIATION:
  997.       (biol)  The process whereby a new SPECIES comes about.  The most
  998.       common cause of SPECIATION is that of geographical isolation. If
  999.       a SUB-POPULATION of a single species is separated geographically
  1000.       from the main POPULATION for a  sufficiently  long  time,  their
  1001.       GENEs  will  diverge  (either  due  to  differences in SELECTION
  1002.       pressures in different  locations,  or  simply  due  to  GENETIC
  1003.       DRIFT).   Eventually,  genetic differences will be so great that
  1004.       members of the sub-population must be considered as belonging to
  1005.       a different (and new) species.
  1006.  
  1007.       SPECIATION is very important in evolutionary biology. Small SUB-
  1008.       POPULATIONs can evolve much more rapidly than a large POPULATION
  1009.       (because  genetic changes don't take long to become fixed in the
  1010.       population). Sometimes, this  EVOLUTION  will  produce  superior
  1011.       INDIVIDUALs  which  can  outcompete,  and eventually replace the
  1012.       SPECIES of the original, main population.
  1013.  
  1014.       (EC) Techniques analogous to geographical isolation are used  in
  1015.       a number of GAs.  Typically, the POPULATION is divided into SUB-
  1016.       POPULATIONs, and INDIVIDUALs  are  only  allowed  to  mate  with
  1017.       others  in the same sub-population. (A small amount of MIGRATION
  1018.       is performed.)
  1019.  
  1020.       This  produces  many  SUB-POPULATIONs  which  differ  in   their
  1021.       characteristics,  and may be referred to as different "species".
  1022.       This technique can be useful for finding multiple solutions to a
  1023.       problem, or simply maintaining diversity in the SEARCH SPACE.
  1024.  
  1025.       Most   biology/genetics   textbooks   contain   information   on
  1026.       SPECIATION.  A more detailed account can be found in  "Genetics,
  1027.       Speciation  and  the  Founder  Principle",  L.V.  Giddings, K.Y.
  1028.       Kaneshiro and W.W.  Anderson  (Eds.),  Oxford  University  Press
  1029.       1989.
  1030.  
  1031.      SPECIES:
  1032.       (biol)  There  is  no  universally-agreed  firm  definition of a
  1033.       SPECIES.  A species may be roughly defined as  a  collection  of
  1034.       living  creatures,  having  similar  characteristics,  which can
  1035.       breed together to produce  viable  OFFSPRING  similar  to  their
  1036.       PARENTs.   Members  of  one  species  occupy the same ecological
  1037.       NICHE.  (Members of different species may occupy  the  same,  or
  1038.       different niches.)
  1039.  
  1040.       (EC)  In  EC  the  definition  of "species" is less clear, since
  1041.       generally it is always possible for a pair INDIVIDUALs to  breed
  1042.       together.   It  is  probably safest to use this term only in the
  1043.       context  of  algorithms   which   employ   explicit   SPECIATION
  1044.       mechanisms.
  1045.  
  1046.       (biol)  The  existence  of  different  SPECIES  allows different
  1047.       ecological NICHEs to be exploited. Furthermore, the existence of
  1048.       a  variety  of different species itself creates new niches, thus
  1049.       allowing room for further species. Thus nature bootstraps itself
  1050.       into almost limitless complexity and diversity.
  1051.  
  1052.       Conversely,  the domination of one, or a small number of SPECIES
  1053.       reduces the number of viable  NICHEs,  leads  to  a  decline  in
  1054.       diversity,  and  a  reduction  in  the  ability to cope with new
  1055.       situations.
  1056.  
  1057.       "Give any one species too much rope, and they'll fuck it up"
  1058.  
  1059.       --- Roger Waters, "Amused to Death", 1992
  1060.  
  1061.      STANDARD DEVIATION:
  1062.       A measurement for the spread of a set of data; a measurement for
  1063.       the variation of a random variable.
  1064.  
  1065.      STATISTICS:
  1066.       Descriptive  measures  of data; a field of mathematics that uses
  1067.       probability theory to gain insight into systems' behavior.
  1068.  
  1069.      STEPSIZE:
  1070.       Typically, the average distance in the appropriate space between
  1071.       a PARENT and its OFFSPRING.
  1072.  
  1073.      STRATEGY VARIABLE:
  1074.       Evolvable  parameters  that relate the distribution of OFFSPRING
  1075.       from a PARENT.
  1076.      SUB-POPULATION:
  1077.       A POPULATION may be  sub-divided  into  groups,  known  as  SUB-
  1078.       POPULATIONs,  where INDIVIDUALs may only mate with others in the
  1079.       same  group.  (This  technique  might  be  chosen  for  parallel
  1080.       processors).  Such  sub-divisions  may  markedly  influence  the
  1081.       evolutionary dynamics of a population (e.g.  Wright's  'shifting
  1082.       balance'  model).  Sub-populations  may  be  defined  by various
  1083.       MIGRATION constraints: islands with limited arbitrary migration;
  1084.       stepping-stones   with   migration   to   neighboring   islands;
  1085.       isolation-by-distance in which each individual mates  only  with
  1086.       near neighbors. cf PANMICTIC POPULATION, SPECIATION.
  1087.  
  1088.      SUMMERSCHOOL:
  1089.       (USA)  One  of the most interesting things in the US educational
  1090.       system: class work during the summer break.
  1091.  
  1092.  T
  1093.      TERMINAL SET:
  1094.       (GP) The set  of  terminal  (leaf)  nodes  in  the  parse  trees
  1095.       representing  the  programs in the POPULATION.  A terminal might
  1096.       be a variable, such as X, a constant value, such as 42, (cf Q42)
  1097.       or a function taking no arguments, such as (move-north).
  1098.  
  1099.      TRAVELLING SALESMAN PROBLEM:
  1100.       The  travelling salesperson has the task of visiting a number of
  1101.       clients, located in different cities. The problem to  solve  is:
  1102.       in  what order should the cities be visited in order to minimise
  1103.       the total distance travelled (including returning home)? This is
  1104.       a classical example of an ORDER-BASED PROBLEM.
  1105.  
  1106.      TSP: See TRAVELLING SALESMAN PROBLEM.
  1107.  
  1108.  U
  1109.      USENET:
  1110.       "Usenet  is like a herd of performing elephants with diarrhea --
  1111.       massive, difficult to redirect, awe-inspiring, entertaining, and
  1112.       a  source  of  mind-boggling amounts of excrement when you least
  1113.       expect it."
  1114.  
  1115.       --- Gene Spafford (1992)
  1116.  
  1117.  V
  1118.      VALUE-BASED PROBLEM:
  1119.       A problem where the solution must be specified in terms of a set
  1120.       of  real-valued  parameters.  FUNCTION OPTIMIZATION problems are
  1121.       of this type.  cf SEARCH SPACE, ORDER-BASED PROBLEM.
  1122.  
  1123.      VECTOR OPTIMIZATION:
  1124.       Typically, an OPTIMIZATION problem wherein  multiple  objectives
  1125.       must be satisfied.
  1126.  
  1127.  Z
  1128.      ZEN NAVIGATION:
  1129.       A  methodology  with  tremendous propensity to get lost during a
  1130.       hike from A to B.  ZEN NAVIGATION  simply  consists  in  finding
  1131.       something  that  looks  as  if  it knew where it is going to and
  1132.       follow  it.   The  results  are  more  often   surprising   than
  1133.       successful, but it's usually being worth for the sake of the few
  1134.       occasions when it is both.
  1135.  
  1136.       Sometimes ZEN NAVIGATION is referred  to  as  "doing  scientific
  1137.       research,"  where  A is a state of mind being considered as pre-
  1138.       PhD, and B (usually a different) state of mind, known  as  post-
  1139.       PhD. While your time spent in state C, somewhere inbetween A and
  1140.       B, is usually referred to as "being a nobody."
  1141.  
  1142.  
  1143. ACKNOWLEDGMENTS
  1144.      Finally, credit where credit is due. I'd like to thank all the people
  1145.      who  helped  in  assembling  this  guide,  and their patience with my
  1146.      "variations on English  grammar".  In  the  order  I  received  their
  1147.      contributions, thanks to:
  1148.  
  1149.  Contributors,
  1150.      Lutz  Prechelt  (University  of  Karlsruhe)  the  comp.ai.neural-nets
  1151.      FAQmeister, for letting  me  strip  several  ideas  from  "his"  FAQ.
  1152.      Ritesh  "peace"  Bansal  (CMU)  for  lots of comments and references.
  1153.      David  Beasley  (University  of  Wales)  for  a  valuable   list   of
  1154.      publications  (Q12),  and many further additions.  David Corne, Peter
  1155.      Ross,  and  Hsiao-Lan  Fang  (University  of  Edinburgh)  for   their
  1156.      TIMETABLING  and  JSSP  entries.   Mark  Kantrowitz (CMU) for mocking
  1157.      about this-and-that, and being a "mostly valuable" source  concerning
  1158.      FAQ  maintenance;  parts  of  A11  have  been stripped from "his" ai-
  1159.      faq/part4 FAQ; Mark also contributed the less verbose ARCHIVE  SERVER
  1160.      infos.   The  texts  of  Q1.1,  Q1.5, Q98 and some entries of Q99 are
  1161.      courtesy by James  Rice  (Stanford  University),  stripped  from  his
  1162.      genetic-programming  FAQ  (Q15).   Jonathan  I. Kamens (MIT) provided
  1163.      infos on how-to-hook-into the USENET FAQ  system.   Una  Smith  (Yale
  1164.      University)  contributed  the  better parts of the Internet resources
  1165.      guide  (Q15.5).   Daniel   Polani   (Gutenberg   University,   Mainz)
  1166.      "contributed"  the  Alife  II  Video  proceedings  info.   Jim  McCoy
  1167.      (University of Texas) reminded me of  the  GP  archive  he  maintains
  1168.      (Q20).   Ron Goldthwaite (UC Davis) added definitions of Environment,
  1169.      Evolution, Fitness, and Population to the glossary, and some thoughts
  1170.      why   Biologists  should  take  note  of  EC  (Q3).   Joachim  Geidel
  1171.      (University of Karlsruhe) sent a diff of the  current  "navy  server"
  1172.      contents  and the software survey, pointing to "missing links" (Q20).
  1173.      Richard Dawkins "Glossary" section of "The extended phenotype" served
  1174.      for many new entries, too numerous to mention here (Q99).  Mark Davis
  1175.      (New  Mexico  State  University)  wrote  the  part  on   Evolutionary
  1176.      Programming  (Q1.2).   Dan Abell (University of Maryland) contributed
  1177.      the section on efficient greycoding (Q21).  Walter Harms  (University
  1178.      of  Oldenburg)  commented  on introductory EC literature.  Lieutenant
  1179.      Colonel J.S. Robertson (USMA, West Point), for providing a  home  for
  1180.      this      subversive      posting     on     their     FTP     server
  1181.      euler.math.usma.edu/pub/misc/GA Rosie O'Neill for suggesting the  PhD
  1182.      thesis entry (Q10.11).  Charlie Pearce (University of Nottingham) for
  1183.      critical remarks  concerning  "tables";  well,  here  they  are!   J.
  1184.      Ribeiro Filho (University College London) for the pointer to the IEEE
  1185.      Computer GA  Software  Survey;  the  PeGAsuS  description  (Q20)  was
  1186.      stripped from it.  Paul Harrald for the entry on game playing (Q2).
  1187.  
  1188.  Reviewers,
  1189.      Robert  Elliott  Smith  (The University of Alabama) reviewed the TCGA
  1190.      infos (Q14), and Nici Schraudolph (UCSD) first  unconsciously,  later
  1191.      consciously, provided about 97% of Q20* answers.  Nicheal Lynn Cramer
  1192.      (BBN) adjusted my historic view of GP genesis.  David Fogel (ORINCON)
  1193.      commented and helped on this-and-that (where this-and-that is closely
  1194.      related to EP), and provided many missing entries  for  the  glossary
  1195.      (Q99).   Kazuhiro  M.  Saito  (MIT)  and Mark D. Smucker (Iowa State)
  1196.      caught my favorite typo(s).  Craig W.  Reynolds  was  the  first  who
  1197.      solved one of the well-hidden puzzles in the FAQ, and also added some
  1198.      valuable stuff.  Joachim  Born  (TU  Berlin)  updated  the  Evolution
  1199.      Machine  (EM) entry and provided the pointer to the Bionics technical
  1200.      report ftp site (Q14).  Pattie Maes  (MIT  Media  Lab)  reviewed  the
  1201.      ALIFE IV additions to the list of conferences (Q12).  Scott D. Yelich
  1202.      (Santa Fe Institute) reviewed the SFI connectivity entry (Q15).  Rick
  1203.      Riolo  (MERIT)  reviewed  the  CFS-C  entry  (Q20).  Davika Seunarine
  1204.      (Acadia Univ.)  for smoothing out this and that.  Paul  Field  (Queen
  1205.      Mary  and  Westfield  College)  for  correcting  typos, and providing
  1206.      insights into the blindfold pogo-sticking nomads of the Himalayas.
  1207.  
  1208.  and Everybody...
  1209.      Last not least I'd like to thank Hans-Paul  Schwefel,  Thomas  Baeck,
  1210.      Frank  Kursawe, Guenter Rudolph for their contributions, and the rest
  1211.      of the Systems Analysis Research Group for wholly remarkable patience
  1212.      and almost incredible unflappability during my various extravangances
  1213.      and ego-trips during my time (1990-1993) with this group.
  1214.  
  1215.      It was a tremendously worthwhile experience. Thanks!
  1216.  
  1217.  
  1218.  
  1219.  
  1220.  
  1221.  
  1222.  
  1223.        "And all our yesterdays have lighted fools; the way to dusty death;
  1224.     out, out brief candle; life's but a walking shadow; a poor player;
  1225.       that struts and gets his hour upon the stage; and then is heared
  1226.        no more; it is a tale; told by an idiot, full of sound an fury,
  1227.                               signifying nothing."
  1228.  
  1229.                           --- Shakespeare, Macbeth
  1230.  
  1231.  
  1232.  
  1233.  
  1234.  
  1235. EPILOGUE
  1236.               "Natural selection is a mechanism for generating
  1237.                  an exceedingly high degree of improbability."
  1238.  
  1239.                   --- Sir Ronald Aylmer Fisher (1890-1962)
  1240.  
  1241.  
  1242.      This is a GREAT quotation, it sounds like something directly out of a
  1243.     turn of the century Douglas Adams: Natural selection: the original
  1244.                         "Infinite Improbability Drive"
  1245.  
  1246.              --- Craig Reynolds, on reading the previous quote
  1247.  
  1248.      "`The  Babel  fish,'  said  The  Hitch  Hiker's  Guide  to the Galaxy
  1249.      quietly, `is small, yellow and leech-like, and  probably  the  oddest
  1250.      thing  in  the  Universe.   It feeds on brainwave energy received not
  1251.      from his own carrier  but  from  those  around  it.  It  absorbs  all
  1252.      unconscious  mental frequencies from this brainwave energy to nourish
  1253.      itself with.  It then  excretes  into  the  mind  of  its  carrier  a
  1254.      telepathic   matrix   formed   by  combining  the  conscious  thought
  1255.      frequencies with nerve signals picked up from the speech  centers  of
  1256.      the  brain which has supplied them.  The practical upshot of all this
  1257.      is that if you stick a Babel fish  in  your  ear  you  can  instantly
  1258.      understand  anything  said to you in any form of language. The speech
  1259.      patterns you actually hear decode the brainwave matrix which has been
  1260.      fed  into  your mind by your Babel fish.  `Now it is such a bizarrely
  1261.      improbable coincidence than anything so mindbogglingly  useful  could
  1262.      have  evolved  purely by chance that some thinkers have chosen to see
  1263.      it as a final and clinching proof of the non-existence of God.   `The
  1264.      argument  goes  something  like  this:  ``I  refuse  to  prove that I
  1265.      exist,'' says God, ``for proof denies faith, and without faith  I  am
  1266.      nothing.''   ``But,''  says  Man, ``The Babel fish is a dead giveaway
  1267.      isn't it?  It could not have evolved by chance. It proves you  exist,
  1268.      and  so  therefore,  by  your  own arguments, you don't. QED.''  ``Oh
  1269.      dear,'' says God, ``I hadn't thought of that,'' and promptly vanishes
  1270.      in  a  puff  of  logic.   ``Oh, that was easy,'' says Man, and for an
  1271.      encore goes on to prove that black is white and gets  himself  killed
  1272.      on the next zebra crossing."
  1273.  
  1274.                           --- Douglas Adams (1979)
  1275.  
  1276.      "Well, people; I really wish this thingie to turn into a paper babel-
  1277.      fish for all those young ape-descended organic  life  forms  on  this
  1278.      crazy  planet,  who don't have any clue about what's going on in this
  1279.      exciting  "new"  research  field,  called  Evolutionary  Computation.
  1280.      However,  this  is  just  a  start,  I need your help to increase the
  1281.      usefulness of this guide, especially  its  readability  for  natively
  1282.      English  speaking  folks;  whatever  it  is:  I'd  like  to hear from
  1283.      you...!"
  1284.  
  1285.                                 --- The Editor
  1286.  
  1287.            "Parents of young organic life forms should be warned, that
  1288.        paper babel-fishes can be harmful, if stuck too deep into the ear."
  1289.  
  1290.                         --- Encyclopedia Galactica
  1291.  
  1292.  
  1293.  
  1294.  
  1295. ------------------------------
  1296.  
  1297. End of ai-faq/genetic/part6
  1298. ***************************
  1299.